Программа для поиска всех внешних и внутренних ссылок на сайте необходима каждому администратору сайта. Столкнувшись с такой необходимостью мы обнаружили, что готовых и удобных решений просто не существует, поэтому пришлось решить проблему собственными силами.
Программа «Поиск внутренних и внешних ссылок на сайте» написана на языке программирования Python 3.11 с использованием библиотек PySide6, BeautifulSoup, requests, urllib, validators и Seaborn.
Для анализа содержимого HTML-страниц используется библиотека BeautifulSoup, которая позволяет эффективно и удобно извлекать данные из HTML. Проверка валидности ссылок осуществляется с помощью библиотеки validators. Посредством библиотеки requests осуществляются HTTP-запросы к указанному URL-адресу и извлекается HTML-код страницы. Если запросы проходят успешно, HTML-код страницы передается объекту BeautifulSoup для извлечения ссылок. Для визуализации графиков в отчетах используется библиотека Seaborn, что позволяет создавать красивые и информативные графики.
Таким образом, нами создан инструмент для анализа веб-сайтов, который позволяет извлекать внутренние, внешние и технические ссылки, проверять доступность внешних ссылок и предоставлять детальный отчет о структуре ссылок на сайте.
Результатом работы программы является подробный отчет, содержащий информацию о соотношении внутренних, внешних и технических ссылок. Внешние ссылки группируются по источникам, что облегчает анализ. Результаты анализа представляются в удобном виде с использованием таблиц и графиков.
